最後一篇記錄一下最後改用 execution 的方式執行 workbench 以及之後的實際任務。
我在搬動正式環境到新的 Resources 的時候其實沒有很順利。我原本想像只要將 conda environment-alvin.yml 匯出就好了。所以用了以下指令。 但 dependency 跟初始image 環境差很多,所以會造成安裝套件失敗
conda env export > environment-alvin.yml
後來我是一次次的執行檔案,看缺什麼套件再一個個安裝
pip install --upgrade torchvision
pip install opencc-python-reimplemented paddleocr paddlepaddle==2.5.2 datasets==2.14.0 fsspec==2024.6.1 config pydantic pydantic-settings numpy
pip install openpyxl
說到搬檔案,這邊也提供一些 script,先壓縮 folder
tar -czvf compressed_folder.tar.gz temp
先將過去檔案發送到 home folder
gcloud compute scp --recurse --project=xxx --zone=asia-east1-a \
compressed_folder.tar.gz alvin_linpy_xxx_com@instance-20241014-152005:~/
再轉送到 juypter 下
gcloud compute ssh instance-20241014-152005 --project=xxx --zone=asia-east1-a
# 解壓縮
tar -xzvf ~/compressed_folder.tar.gz
overall: https://cloud.google.com/vertex-ai/docs/workbench/instances/introduction
介面上進行 execution: https://cloud.google.com/blog/products/ai-machine-learning/schedule-and-execute-notebooks-with-vertex-ai-workbench
cli 文件,focused在實例管理上:https://cloud.google.com/vertex-ai/docs/workbench/reference/rpc/google.cloud.notebooks.v2